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)SY$JEME D'INSERTION EN TEMPS REEL OU DIFFERE DE PANNEAUX PUBUOT AIRES OU 
INFORMATIONNELS VIRTUELS DANS DES EMISSIONS TE LEVIS EES. 

57) Systeme d'insertion en temps reel ou differe de pan- 
rieaux publicitaires ou informationnels virtuels dans des 
emissions televlsees. 
II est constitue de ('integration: 

. d'un systeme de cameras dotees d'un systeme caracte- 
riserant mathematiquement les mouvements de fa camera 
et I'etat de son optique, et eventuellement de la distance 
des objets filmes. 

. d'un systeme de controls du systeme de camera 
connaissant en temps reel i'etat de toutes ies cameras et 
permettant le calage de eel les -ct sur un repere spatial fixe, 
ainsi que le reperage relatif a celui-cl de chaque panneau 
visible dans leurs champs respectrfs, puis de calculer en 
temps reel la position dans leur champs respectrfs de tout 
objet caracterise dans la phase precedente. 

. d'un systeme' d'insertion au vol qui sur la base des ima- 
ges transmise par le systeme de camera, des informations 
centrafisees et/ou catculees par le systeme de controle, et 
du cahier des charges d'insertion, fnserera les panneaux 
virtuels dans les zones de I'image. 

. d'une regie image finale standard permettant la realisa- 
tion en vue de diffusion de I'evenement televise. 
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La presence invention concerne un systeme permettant 1'insenion en temps reel ou differe de 
panneaux publicitaires ou informationneis virtuels dans des emissions tftevisees, ou la 
presence d'annonceurs publicitaires est frequente (evenements sportifs parexemple). 

Les grands evenements televisuels representent un support publicitaire majeur pour 
5 Tensemble des annonceurs. L'exploitation des espaces publicitaires consume une des 
retombees essentielles pour les proprietaires des droits de diffusion de ces evenements. 
Jusqu'a present, les espaces alloues sont des espaces physiques (panneaux, ecrans, 
banderoles, etc. ). 

Aujourd'hui le traitement informatique de Timage permet de « virtualiser » ces panneaux, 
10 c'est a dire d'inserer informatiquement a des endroits determines dans Timage, tout en 
respectant les mouvements de cameras (travelling, zoom, etc ..), des panneaux publicitaires 
virtuels. 

L'interet d'une telle approche est multiple : 

• il est possible, lors d'une diffusion international^ de personnaliser la diffusion suivant 
1 5 chaque pays diffuseur et sa legislation. 

♦ La gestion de I'espace est totalement flexible. II est ainsi possible de multiplier le nombre 
d'annonceurs sur un meme « panneau » en partageant cet espace virtuel. 

* La dynamique des messages elle-meme (et done leur impact publicitaire) peut etre 
grandement amelioree (couleur. animation, evolution). 

20 La chaine de production d'un evenement televise va de la camera, jusqu'a la station de 
diffusion, en passant par la regie. 

Dans les systemes existant d'insertion de publicite virtuelle, le traitement s'effectue au 
travers de mecanismes algorithmiques de reconnaissance de forme, apres que Timage ait ete 
saisie par des cameras. Une telle approche necessite des systemes materiels dedies de 
25 traitement informatique de Timage (hardware specialise), et des logiciels de reconnaissance 
de forme tres sophistiques et gourmand en ressources informatiques. L'efficacite de tels 
systemes (Us ne sont pas encore a cette date operationnels en temps reel), comme leur cout, 
est aujourd'hui victime de leur lourdeur. 

La vraie difficulte de ce type de systeme est done d'effectuer en temps reel et a moindre cout 
30 ces insertions virtuelles de qualite. 

Le systeme selon ('invention permet d'apporter une solution a ce probleme. 

L'innovation est ici de remonter vers Tarnont de la chaine de production de F image, c'est a 
dire jusqu'a la camera. Le systeme selon Tinvention est constitue de plusieurs sous-systemes 
communiquants, s'inserant dans la chaine de production de Timage. 
35 A -LE SOUS-SYSTEME DE cameras (reference dessin I ): 

• Au lieu de cameras « standards », le systeme utilise des cameras particulieres dotees d'un 
systeme du type « controle de mouvements » (en anglais « motion control »). Ce genre de 
systfcme permet de caracteriser de manidre exiremement precis, leS mouvements et les 
operations de la dite camera (mouvements, travelling, rotation, zoom, etc ..). Ceci signifie 

40 qu'a chaque instant, Tetat de la camera - c'est a dire sa position dans Tespace, et le 
reglage de son systeme optique - est connu de maniere deterministe et codable 
mathdmatiquement. Ces cameras peuvent aussi etre dotees de capacites telemetriques. 
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• Grace a un tel systeme, on peut - a partir du moment ou Ton a « cale » au depart, a la 
maniere d'un geometre, chaque camera sur un repere spatial fixe determine du site de 
revenement sportif - connaitre a chaque instant la position dans ou par rapport a V image 
de ce repere spatial, position qui peut etre caracterisee par des coordonnees spatiales 

5 (X,Y,Z). Le sous-systeme camera pourra etre utilise directement pour effectuer ce calage. 

* De la meme maniere. on est a meme de connaitre a chaque instant la position (et done les 
coordonnees relative dans Timage) de tout objet visible dans le champ de chacune des 
camera dont on aura caracterise au depart les coordonnees spatiales dans ce meme repere. 

* Les objets auxquels nous pensons, sont evidernment les panneaux - ou les emplacements 
10 de panneaux virtuels - dans lesquels I* insertion video devra etre fake. Ces panneaux 

correspondent done a des espaces, et/ou meme a des objets dont la forme peut etre 
caracterisee par des coordonnees spatiales d'un certain nombre de ses points et d'autres 
quantites mathernatiques (longueur, largeur, etc. ). 

* La texture de ces objets peut si necessaire etre concue pour faciliter le processus 
15 d'insertion video (par exemple, avec des fonds bleu). Mais les panneaux reels peuvent 

cependant parfaitement contenir des messages propres, sans que cela gene le processus 
d* insertion. 

* Dans ce dernier cas, le contenu reel des panneaux dans les conditions optiques de leur 
calage dans le repere spatial du site peut etre acquis puis stocke (par exemple au niveau 

20 du « sous-systeme d* insertion »), afin de faciliter le processus d* insertion final. 

B - LE SOUS-SYSTEME DE CONTROLE DES CAMERAS (reference dessin 2) : 

• Les cameras dotees du mecanisme de contrdle de mouvements sont reliees a un 
calculateur exploitant un processus informatique agissant comme le « moniteur » de 
Tensemble des cameras. II est done a meme a chaque instant de connaitre Tetat de chaque 

25 camera et partant la position de leur reperes spatiaux respectifs dans les images qu'elles 
transmettent, et par-la meme de tout objet positionne dans ces reperes. 

• Cest done grace a ce sous-systeme que d'une part est d'abord effectue le calage des 
cameras et que sont determinees les coordonnees des panneaux, et que d* autre part est 
calculee a chaque instant la position des panneaux dans le champ de chaque camera. 

30 C - LE SOUS-SYSTEME D' INSERTION (reference dessin 3): 

♦ Ce sous-systeme est lui aussi constitud d'un ou de piusieurs calculateur(s) exploitant un 
processus informatique dont la tache est d'operer les insertions en temps reel sur la base, 
d'une part des images transmises par les cameras (au travers si necessaire de la regie 
video), et d* autre part des informations transmises par les sous-systeme de controle des 

35 cameras - a savoir les coordonnees dans les images des panneaux a inserer, ainsi que 
d'autres informations (comme Tidentite de la camera, noms des objets, etc.), et d'autres 
informations locales. 

• Ce(s) sous-systeme(s) possede(net) par ailleurs d'autres informations a la fois liees aux 
objets, aux contenus reels de ces oojets, aux contenus prevus, aux conditions 

40 d y incrustations, bref toute I' information caracterisant « le cahier des charges » de 
['exploitation publicitaire de I'evenement (contenu, horaires et frequences, annonceurs, 

etc ..). 

• C*est sur la base de ces deux types d'informations que le(s) sous-sySterrfe(s)' d' insertion 
procede(nt) au vol a I' incrustation finale. Cette incrustation s'effectue de maniere a 

45 respecter tant les deformations geometriques des panneaux dans V image (perspective par 
exemple) que tout obstacle s'interposant entre la camera et le panneau (par exemple un 
joueur). 
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♦ I! peui y avoir autant de sous-systemes d' insertion que de territoires de diffusion 



D - LA REGIE IMAGE FINALE (reference dessin 4) : 

Que !' insertion soit faile en amom ou en aval de celle-ci, les images sont a la disposition de 
5 la regie image finale, c'est a dire du realisateur qui execute sa tache comme il Taurait fait a 
partir d' images produites par un systeme standard. Le phenomene d' incrustation est done 
transparent aux yeux du realisateur. 

Remarque 1 : Le systeme tel qu'il est decrit ci-dessus permet d'effectuer les insertions 
publicitaires en amont de toute operation de diffusion. I! peut cependant parfaitement etre re- 
10 architecture pour permettre a un ou plusieurs diffuseurs nationaux d'effectuer eux memes en 
local leurs propres incrustations avant d'operer la diffusion des images finales sur leur 
propre territoire. Dans ce cas, le systeme fonctionne de la maniere suivante : 

• le sous-systeme camera fonctionne de la meme maniere que precedemment, le sous- 
systeme de controle consolide les informations provenant du sous-systeme camera, 

15 * les images plus les dites informations sont transmises par des systemes de 
telecommunication (par exemple satellitaires) et distributes vers les stations receptrices 
de chaque diffuseur national, Celui-ci dispose alors de toutes les informations necessaires, 
et les transmet a son propre sous-systeme d'insertion qui, sur la base de son propre 
« cahier des charges », operera ses propres insertions au vol, 

20 - Et pourra ensuite confier ses images a sa propre realisation avant de les diffuser sur son 
territoire. 

Remarque 2 : Les deux processus informatiques de controle des cameras et d'insertion au 
vol peuvent etre exploites par le meme calculateur. 

Tel qu'il est decrit, le systeme propose permet done d'effectuer en temps reel de maniere 
25 efficace et economique : 

• I* identification des panneaux 

• leur suivi dans V image de chaque camera 

,p * I'insertion du panneaux virtuels en respectant les obstacles eventuels 

Les dessins annexes illustrent finvention. 

30 La planche 1/3 illustre a litre d exemple le fonctionnement du systeme propose dans le cas 
ou la regie video est situee en aval du sous-systeme d' insertion. 

La planche 2/3 illustre a titre d'exemple le fonctionnement du systeme propose dans le cas 
ou la regie video est situee en amont du sous-systeme d'insertion 

La planche 3/3 illustre a titre d'exemple le fonctionnement du systeme propose dans le cas 
. 35 ou le(s) sous-systeme(s) d'insertion est(sont) distant(s). 



differents 
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REVINDICATIONS 

I. Systeme d'insertion en temps reel de panneaux publicitaires ou informationnels virtuels 
dans des images d'evenements televisuels caracterise en ce qu'il consiste en f integration: 

(a) d'un sous-systeme de cameras (1) chacune dotee du systeme dit de contrdle de 
mouvement permettant de caracteriser mathematiquement les mouvements de la camera 

5 ainsi que fetal de son optique (Tetat de la camera), voire la distance des objets 
(telemetrie). 

(b) d'un sous-systeme calculateur (2) exploitant un processus informatique de contrdle du 
sous-systeme de cameras ayant a connaitre en temps reel de Petal de chaque camera et 
permettant dans un premier temps le caiage de chaque camera sur un repere spatial fixe, 

1 0 ainsi que la caracterisation spatiale par rapport a ce repere de chaque panneau visible dans 
le champs de chaque camera, et dans un deuxieme temps de pouvoir calculer en temps 
reel la position dans I' image de chaque camera - quel que soit son etat - de tout objet qui 
aurait ete caracterise dans la phase precedente. 

(c) d'un (ou de plusieurs) sous-systeme(s) calculateur (3) exploitant un processus 
15 informatique dit d* insertion au vol qui, sur la base des images transmise par le sous- 
systeme de camera, des informations central isees et/ou calculees par le sous-systeme de 
contrdle, et du cahier des charges publicitaire resultant du contrat entre le 
proprietaire/diffuseur des images et les annonceurs, insere(nt) les panneaux virtuels 
prevus dans les zones de fimage correspondant aux panneaux de support publicitaires. 

20 (d) d'une regie image finale standard permettant la realisation en vue de diffusion. 

2 - Systeme selon la revendication I caracterise en ce que le sous-systeme de cameras est en 

permanence sous le contrdle du sous-systeme de contrdle des cameras auquel il est 
connecte. 

3 -Systeme selon la revendication I et 2 caracterise en ce que Ie(s) sous-systeme(s) 
25 d'insertion au vol est(sont) en permanence connecte(s) au sous-systeme de camera qui 

lui(leur) transmet les images (eventuellement via la regie video), ainsi qu'au sous systeme 
de contrdle qui lui(leur) transmet les informations spatiales necessaires aux operations 
*~ d'insertion. 

4 - Systeme selon les revendications precedentes caracterise en ce que Ie(s) sous-systeme(s) 
30 d'insertion au vol est(sont) connecte(s) en permanence a la regie image finale. 

5 - Systeme selon Tune quelconque des revendications precedentes, caracterise en ce que 

le(s) sous-systeme(s) d'insertion au vol peu(ven)t etre en un(des) lieu(x) dtstant(s) des 
sous-systemes cameras, contrdle et regie finale, et a qui les informations temps reel 
necessaires sont envoyees par des moyens de telecommunication, en vue d'effectuer les 
35 insertions sur la base de cahier des charges propres, avant diffusion des images sur ce(s) 
territoire(s) distant(s). 

6 -Systeme selon Tune quelconque* des 1 revendication precedentes caracterise «n ce que le 
couple sous-systeme d'insertion au vol/regie image peut etre reproduit a IMdentique 
architecture dans des lieux ou territoires de diffusion differents sur lesquels seraient 
40 effectuees la realisation finale ainsi que les insertions sur la base de cahier des charges 
propres avant diffusion des images. 
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54 Advertising of informational Virtual Panels 
Insertion System in TV Broadcasts 



57 Advertising or informational virtual panels insertion system in TV broadcasts. It is 
made of: 

• A camera system equipped with a motion control system characterizing 
mathematically the movements of the camera, its optical state, and optionally 
the distance of the objects being in the field of view. 

• A control system knowing at any time the state of all the cameras it controls, 
allowing each camera to be characterized in an absolute coordinate system as 
well as the objects that are visible from each camera, and to compute in real- 
time the position in the field of view of each camera of these objects. 

• An insertion system inserting in real-time virtual panels in place of physical 
panels based on images transmitted by the camera sub-system, pieces of 
information either stored and/or computed in the control sub-system, and the 
advertising contractual requirements agreed by the broadcasters and the 
advertisers. 

• A broadcast control center, which will finally broadcast the images. 
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The described invention relates to a system allowing insertion in real-time or differed of 
virtual panels (advertisements or informational) in television broadcasts, where the 
presence of advertisers is typical (sporting events for example). 

The big TV events represent a major advertising medium for the all of the advertisers. 
The use of advertising spaces constitutes one of the essential repercussions for the owners 
of the rights of diffusion of these events. Until now, allocated spaces are physical spaces 
(panels, screens, streamers, etc). 

Today the image processing allows these panels to be made virtual, i.e. to be inserted by 
means of computer into places determined in the image, while respecting the movements 
of cameras (pan, zoom etc.). 

The interest of such an approach is multiple: 

* It is now possible during an international broadcast to personalize the broadcast 
according to each broadcasted country and its legislation. 

The space management is completely flexible. It is thus possible to multiply the number 
of advertisers on a same panel by sharing this virtual space. 

* The dynamics of the messages (and thus their advertising impact) can be largely 
improved (color, animation, evolution). 

The chain of production of a televised event goes from the camera, to the station of 
diffusion, while passing by the control. 

In the existing systems of virtual advertisement, the processing is carried out through 
algorithmic mechanisms of pattern recognition, after cameras seized the image. Such an 
approach requires dedicated material systems of image processing (specialized 
hardware), and software of pattern recognition very sophisticated and demanding in data- 
processing resources. The effectiveness of such systems (they are not yet on this date 
operational in real time), like their cost, is victim of their heaviness as of today. 

The true difficulty of this type of system is thus to carry out in real time and at lower cost 
these virtual insertions with quality. 

The system described by the invention makes it possible to give a solution to this 
problem. 

The innovation is here to go upstream of the chain of production of the image, i.e. to the 
camera. The system according to the invention consists of several communicating 
subsystems, fitting in the chain of production of the image. 

A - The camera sub-system (ref drawing 1): 
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Instead of standard cameras, the system uses particular cameras equipped with a motion 
control system. This kind of system makes it possible to characterize in an extremely 
precise way, the movements and the operations of a camera (pan, tilt, rotation zoom, 
etc.). This means that at any time, the state of the camera - i.e. its position in space, and 
the adjustment of its optical system - is known in a deterministic manner and can be 
expressed mathematically. These cameras can also be equipped with telemetric 
capabilities. 

Thanks to such a system, one can - assuming that before the event the camera has been 
placed (like a geometrician would) in a spatial coordinate system relative to the venue 
where the event takes place - know at any time the position in or compared to the image 
of this spatial coordinate system, position which can be characterized by space co- 
ordinates (X, Y, Z). The camera subsystem may be used directly to perform the 
positioning of the camera into the system. 

Similarly, one is capable to know at any time the position (and thus the coordinates 
relative in the image) of any visible object in the field of view of each and every one of 
the cameras that have characterized pre-event in the spatial coordinate system. 

These objects are typically the panels - or virtual panel locations - in which video 
insertion will have to be made. These panels thus correspond to spaces, and/or even to 
objects whose shape can be characterized by space coordinate of a certain number of its 
points and other mathematical quantities (length width, etc.). 

* The texture of these objects can be, if necessary, conceived to facilitate the process of 
video insertion (e.g. with blue backgrounds). However the physical panels could contain 
existing messages, without impacting the process of insertion. 

In this last case, the physical messages can be acquired and stored (for example in the 
insertion subsystem), so as to facilitate the final process of insertion. 

B - the camera control sub-system (ref drawing 2): 

The cameras equipped with the motion control mechanism are connected to a computer, 
which is acting as the monitor of these cameras. As a consequence, this computer knows 
the state of each camera it controls, the position of their respective spatial coordinate 
system in the images they transmit, and the position of the objects placed in these 
coordinate systems. 

* The responsibility of this subsystem is initially to characterize each camera that will be 
controlled and to find the coordinates of the panels, then to compute in real-time the exact 
position of each object in the field of view of each camera. 

C - the insertion sub-system (ref drawing 3): 

This sub-system is made as well of several computers whose job is to manage the real- 
time insertions based on the images transmitted by the cameras (through the broadcast 
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control center if necessary), and coordinates of the panels to insert inside those images, 
along with other pieces of information (content, schedule frequency, advertisement, . . .). 

* This (these) sub-system(s) have knowledge of information about the objects, their 
physical content, the scheduled contents, the conditions for insertion, in short about 
anything part of the advertising requirements for a particular event. 

* Based on these two types of information, the sub-system(s) achieve real-time insertion. 
This incrustation is carried out so as to respect the geometrical deformations of the panels 
in the image (perspective for example) and take into account any obstacle interposing 
between the camera and the panel (for example a player). 

* There can be as many subsystems of insertion than of geographic broadcast zones. 

D - Broadcast Control Center 

Insertion is either made upstream or downstream from the broadcast control center; in 
both cases, images are at the disposal of the broadcast control center, i.e. the director who 
carries out his task as it would have done starting from images produced by a standard 
system. The phenomenon of incrustation is thus transparent for the director. 

Note 1 . The system such as it is described above makes it possible to achieve 
advertising insertions upstream any broadcast operation. However, it can be very well re- 
designed to make it possible for one or more national diffusers to assume locally the 
insertion responsibility before broadcasting the modified images in their respective zone. 
In this case, the system functions in the following way: 

* The camera sub-system functions in the same way as previously; and the control sub- 
system consolidates information coming from the camera sub-system, 

* Images in addition to related pieces of information are transmitted by 
telecommunication systems (e.g. satellite) and are sent to the receiving station of each 
national broadcaster. Each broadcaster has all the necessary data to send the images 
through his own insertion sub-system which, based on its own schedule and advertising 
requirements, will operate in real-time his own insertions. 

* Modified images will eventually be sent to a director before being broadcasted. 

Note 2 . the camera and insertion sub-systems can run using the same hardware. 

As described, the system makes it possible to efficiently and in an economic way do the 
following in real-time: 

* Identify the physical panels. 

* Track them in the images transmitted by each camera. 

* Insert virtual panels taking into account the potential occlusions. 
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The annexed drawings illustrate the invention. 

Drawing 1/3 is an example of the system deployed such as to have the broadcast control 
center located downstream from the subsystem of insertion. 

Drawing 2/3 is an example of the system deployed such as to have the broadcast control 
center located upstream from the subsystem of insertion. 

Drawing 3/3 is an example of the system deployed such as to have remote insertion sub- 
systems. 
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Claims 



1 - Virtual advertisement or informational panels real-time insertion system in TV 
broadcast images integrating: 

(a) A camera sub-system (1) equipped with a motion control system characterizing 
mathematically its movements and the state of its optic system (the camera state), 
and the distance of the objects (telemetry). 

(b) A processor sub-system (2) playing the role of a camera controller. This sub- 
system has to know in real-time the state of each camera it controls. It allows 
initially to characterize the position of each camera in an absolute spatial 
coordinate system, then the position in that system of all objects that are visible in 
the field of view of a camera; and secondly the position in the images transmitted 
in real-time by each camera of objects characterized in the previous step. 

(c) One or more processor sub-system (3) inserting in real-time virtual panels in place 
of physical panels based on images transmitted by the camera sub-system, pieces 
of information either stored and/or computed in the control sub-system, and the 
advertising contractual requirements agreed by the broadcasters and the 
advertisers. 



2 - System according to claim 1 characterized by the fact that the camera sub-system is 
controlled at all time by the control sub-system to which it is connected. 

3 - System according to claim 1 and 2 characterized by the fact that insertion sub- 
system^) is(are) connected at all time to the camera sub-system which is sending the 
images and to the control sub-system which sends the spatial information necessary for 
the insertions. 

4 - System according to previous claims characterized by the fact that insertion sub- 
system^) is(are) connected at all time to the broadcast control center. 

5 - System according to any of the previous claims characterized by the fact that 
insertion sub-system(s) can be deployed remotely from the camera, control sub-systems 
and broadcast control center and to which data is sent in real-time using 
telecommunication means in order to fulfill local contractual requirements before being 
broadcasted locally. 

6 - System according to any of the previous claims characterized by the fact that the 
"insertion sub-system(s)/broadcast control center" piece of architecture can be reused in 
different broadcast zones where would take place the job of the director and the insertions 
based on local contractual requirements. 
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